Meta Expert: Cross-Layer Expert Sharing for Storage- and Retrieval-Efficient MoE
Meta Expert：跨层专家共享的存储与检索高效 MoE
🧭 MoE 架构优化 · 跨层参数共享 ★ 深度解读
Tsinghua University · Shanghai AI Laboratory
用跨层共享的 Meta Expert 替代层私有专家，在 Iso-FLOPs 下仅需 70-80% 专家数即可匹配 Vanilla MoE
📌 工作参考价值（4 点）
- 推荐/广告大模型 MoE 层可直接复用：如果业务中训练 MoE 结构的 LLM（如生成式推荐、用户行为序列建模），可将中间的若干层专家改为跨层共享的 Meta Expert 池，保持每层激活专家数不变，FLOPs 不变，但能节省 20-30% 专家存储参数，降低显存占用和加载成本。
- 多场景/多域专家共享借鉴拓扑设计：论文发现“前两层 + 最后两层保持 Local Expert，中间层共享 Meta Expert”以及“Meta 池分成 2 个 interleaved 子池”效果最好。这可以迁移到多域推荐模型：边界层保留场景特有专家，中间层共享通用专家池，既保留差异化又减少冗余。
- 专家冗余度量可用于模型诊断：用线性 CKA 的 Gini 系数衡量专家功能重叠，可以搬到推荐模型的分析中，识别哪些塔/专家在做重复工作，指导剪枝或共享决策。
- 双向 residual pathway 视角启发架构设计：共享参数层相当于在单次前向中让浅层和深层相互读取同一存储，等价于增加隐式跨层连接。在用户表征学习或序列建模中，可以考虑类似的“共享模块”让不同深度互相访问，而不必显式增加跳跃连接。